Questo ragguardevole edificio venne costruito sul principio del 1300 a cura del nobile Pagano Della Torre milanese e Vescovo di Padova. Pochi anni dopo nel 1323 un grave incendio lo danneggiò fortemente e venne alla meglio riparato e soltanto nel 1474 venne restaurato completamente per opera del Vescovo Jacopo Zeno veneziano. Poco dopo gli esperti si accorsero che non offriva sicurezza e ;nel 1485 venne rifabbricato quasi del tutto, essendo sulla cattedra vescovile mons. Pietro Barozzi nativo di Belluno.

Finalmente venne rimesso nello stato attuale pochi anni fa nel 1905 per volontà di S. E. il Cardinale Vescovo Giuseppe Callegari ancora ricordato da noi. Della prima costruzione del 1300 non è rimasto che la porta che conduce al cortile ed anche le due .figure in alto rilievo che sono quelle dell'imperatore Enrico IV (quello di Canossa) e di sua moglie l'imperatrice Berta, grandi benefattori del Vescovado e della Cattedrale. Nel palazzo è degna di ammirazione la grande sala lunga metri 23 e larga 20 detta «Sala dei Vescovi» perché in essa il pittore padovano Jacopo da Montagnana dipinse i ritratti di tutti i Vescovi di Padova, da S. Prosdocimo che fu il primo, fino al Barozzi più sopra. nominato, e termina la serie col 1494 nel quale anno il pittore finì il lavoro.

Sopra una porta di questa sala vi è incastonato il ritratto del Petrarca, ritratto che un tempo si trovava nella casa abitata dal poeta a Padova vicino al Duomo. Quando nel 1632 quella vecchia casa venne demolita fu segato il muro su cui stava il ritratto e custodito nella casa Selvatico in via Vescovado, e nel 1816 il nobile Pietro Selvatico lo donò al Vescovo Scipione Dondi dell'Orologio il quale lo fece collocare nel posto ove trovasi attualmente. Quel ritratto eseguito nella stessa casa del Poeta e da un pittore che visse negli stessi anni, è certamente l'unico al mondo che riproduce l'autentica figura del grande uomo.